탐색적 데이터 분석 방법이라하여 EDA라고하는데, 뽀멀하게 말하자면 다양한 통계적 기법들을 통해서 데이터가 무엇을 말하고 있는지 이리저리 살펴보는 기법이라고 하는데....
몇몇 강의나 자료에서 느낀 공기라는 것은, 삽들고 일단 파고 메꾸기를 무식하게 하면서 이리저리 쿼리를 때리다보면 아하.. 이 데이터를 이래 써먹을 수 있겠구나 돈오돈수인지 돈오삽수인지가 일어난다는 기법으로 받아들여졌다.
예컨데 파이썬 같은 툴로 내가 뭘해야 할 지 모르겠으니 일단 니가 그릴 수 있는 그래프를 전부 그려줘.... 하고 나서 데이터를 쳐다보는 일도 좀 비슷하다. 애초에 아직까지 업계가 통계학 전문가와 소프트웨어 개발자 간의 탑다운-바틈업 간극이 아직은 메워지지 않은 시즌이다.
여튼.
스파크 등으로 골이 명확하지 않은 데이터 분석/처리 업무를 하다보면 개발도 EDA 느낌으로 진행하는 경향이 생긴다. 골이 명확한 쿼리야 짜면 되지만 아직 골을 잘 모르겠는 상황에서 일단 깝시다하는 데이터 업무가 있다. 나는 함수형 프로그래밍을 모르지만 여튼 함수의 체인으로 프로그램을 짜고 있다보면 스텝 바이 스텝으로 인간 TDD를 삽으로 쳐가면서 코딩을 하게 되는데, 그러다보면 문득 골과 프로세스가 점점 더 돈오돈점수로 흐르는 것이다. 돈점수라는 것은 갈고 닦으나 해탈은 오지 않는 다는 것이다. 걍 포기해. 포기하면 편해. 다 망해라. 부동산 폭락해라 샹. 내 이더리움이 전두환의 29만원처럼 써도써도 반영구적인 숙식보장 초보자가능이었으면 좋겠다. 아오..